Sau đó, ông vào hoạt động tại Sài Gòn và là cấp dưới trực tiếp của Bí thư Sài Gòn thời kì này - bà Nguyễn Thị Minh Khai.

Năm 1939, ông tham gia Ban Chấp hành Đảng bộ Thành phố Sài Gòn, sau đó được Đảng điều ra Trung Kỳ để lập lại Xứ ủy Trung kỳ.

Năm 1941, ông bị bắt ở Vinh, bị kết án 5 năm tù và bị đày ra Côn Đảo lần thứ hai.

Đến năm 1945, ông hoạt động ở miền Tây Nam Bộ, sau đó ở Sài Gòn - Chợ Lớn với cương vị Bí thư Thành ủy, Bí thư Đặc khu ủy Sài Gòn - Gia Định.

Năm 1947, Nguyễn Văn Linh là Ủy viên Xứ ủy Nam Bộ, đến 1949 là Thường vụ Xứ ủy Nam Bộ.

Từ 1955 tới 1960, ông là Bí thư Đặc khu ủy Sài Gòn-Gia Định.

Từ 1957 đến 1960, ông là Quyền Bí thư Xứ ủy Nam Bộ.

Năm 1960, tại Đại hội Đảng lần thứ III ông được bầu vào Ban Chấp hành Trung ương Đảng, làm Bí thư (1961 - 1964), rồi Phó Bí thư Trung ương Cục miền Nam. Ông có những đóng góp không nhỏ đối với chiến thắng của Việt Nam Dân chủ Cộng hòa trong cuộc chiến tranh Việt Nam.[3]

Năm 1976, khi thủ đô Sài Gòn của Việt Nam Cộng hòa đổi tên làm Thành phố Hồ Chí Minh, ông được cử làm Bí thư Thành ủy Thành phố Hồ Chí Minh.

Tháng 12 năm 1976, tại Đại hội Đảng lần thứ IV ông được bầu vào Ban Chấp hành Trung ương và Bộ Chính trị, Ban Bí thư Trung ương, giữ chức Trưởng ban Cải tạo Xã hội Chủ nghĩa của Trung ương, Trưởng ban Dân vận Mặt trận Trung ương, Chủ tịch Tổng Công đoàn Việt Nam đến 1980.

Trước Đại hội Đảng lần thứ V, Nguyễn Văn Linh xin rút ra khỏi Bộ Chính trị, trở lại làm Bí thư Thành ủy Thành phố Hồ Chí Minh (1981), thay ông Võ Văn Kiệt ra trung ương. Về sau, ông giải thích với ông Võ Trần Chí người sẽ giữ cương vị Bí thư Thành ủy: "Bởi vì mình thấy các anh ấy không muốn mình ở đó nên mình xin rút..."[4]. Ông trở thành một nhân vật quan trọng trong lịch sử của thành phố này.[5]

Tại Hội nghị Trung ương 8 khóa V, Nguyễn Văn Linh được bầu vào Bộ Chính trị. Tháng 6 năm 1986, sau khi Lê Duẩn mất, Trường Chinh làm quyền Tổng bí thư, ông được bầu vào Ban Bí thư Trung ương Đảng, Thường trực Ban Bí thư. Với sự chỉ đạo của Tổng Bí thư Trường Chinh, Bộ Chính trị đã họp tháng 8 năm 1986 và đi tới những kết luận quan trọng, nhấn mạnh đổi mới cơ cấu kinh tế, cơ chế quản lý và 3 chương trình kinh tế lớn. Với tư duy lý luận mới và quá trình khảo nghiệm thực tiễn, Tổng Bí thư Trường Chinh cùng với Thường trực Ban Bí thư Nguyễn Văn Linh và tập thể Bộ Chính trị, Ban Bí thư khóa V đã chỉ đạo chặt chẽ xây dựng các văn kiện trình Đại hội VI của Đảng.

Tháng 12 năm 1986, tại Đại hội Đảng lần thứ VI, Nguyễn Văn Linh được bầu vào Ban Chấp hành Trung ương, Ủy viên Bộ Chính trị, giữ chức Tổng Bí thư Ban chấp hành Trung ương Đảng, kiêm chức Bí thư Đảng ủy Quân sự Trung ương (1987). Từ đây bắt đầu thời kỳ Đổi Mới và Cởi Mở của Việt Nam. Tuy nhiên sau khi sự kiện bức tường Berlin qua đi, đồng minh thân cận của Việt Nam như lãnh đạo Rumani Ceaucescu bị hạ bệ, các nhân vật bảo thủ trong đảng đã tìm cách bóp nghẹt tiến trình này.[6]

Sau một nhiệm kỳ Tổng Bí thư (1986-1991), ông cương quyết rút lui không ra ứng cử trong nhiệm kỳ tiếp theo, dù nhiều người muốn ông làm thành viên của Ban Chấp hành Trung ương khóa VII sau khi Đại hội Đảng toàn quốc lần thứ VI kết thúc vào năm 1991. Ông nói "dù không còn ở trong Trung ương nữa, nhưng với trách nhiệm là người đảng viên, tôi xin cố gắng cống hiến sự hiểu biết và kinh nghiệm nhỏ bé của mình cho cách mạng, cho Đảng cho đến hơi thở cuối cùng".[7] Tại các Đại hội Đảng toàn quốc lần thứ VII (tháng 6 năm 1991) và lần thứ VIII (tháng 6 năm 1996), ông được cử làm Cố vấn Ban Chấp hành Trung ương.

Ông là đại biểu Quốc hội khóa VIII.

Sự kiện

Từ 12 đến 19 tháng 7 năm 1983, lúc Lê Duẩn đi nghỉ ở Liên Xô; 3 vị lãnh đạo cấp cao của Việt Nam là Trường Chinh, Phạm Văn Đồng và Võ Chí Công đang nghỉ ở Đà Lạt, Nguyễn Văn Linh (lúc đó là Bí thư Thành ủy Thành phố Hồ Chí Minh) đã tổ chức "Hội nghị Đà Lạt" - Ông và một số Giám đốc các cơ sở kinh doanh sản xuất làm ăn có lãi đã trực tiếp gặp gỡ các vị lãnh đạo cấp cao (từ ngày 12 đến ngày 16 tháng 7) để báo cáo tình hình sản xuất, kinh doanh và đề đạt nguyện vọng. Ngày 17 tháng 7, Nguyễn Văn Linh mời các vị lãnh đạo thăm cơ sở chế biến tơ tằm và xí nghiệp chè của Thành phố Hồ Chí Minh tại Bảo Lộc. Ngày 19 tháng 7, Nguyễn Văn Linh có buổi làm việc riêng với các vị lãnh đạo này, ông đã báo cáo tất cả tâm tư mà cá nhân mình đang nung nấu. "Hội nghị Đà Lạt" diễn ra trong thời gian vừa đúng một tuần lễ. Nội dung tư tưởng của các cuộc gặp trong sự kiện này đã được Nguyễn Văn Linh vận dụng vào việc chuẩn bị văn kiện Đại hội Đảng VI của Đảng Cộng sản Việt Nam - Khởi xướng công cuộc Đổi mới của Việt Nam.[8]

Chính sách

Vào giữa những năm 80 của thế kỷ XX, lúc còn là Bí thư Thành ủy Thành phố Hồ Chí Minh, Nguyễn Văn Linh đã tiến hành thí điểm những đổi thay trong cơ chế quản lý kinh tế ở một số doanh nghiệp nhà nước tại thành phố đông dân nhất Việt Nam. Đây là những bước đột phá đầu tiên mặc dù chưa hoàn thiện nhằm xóa bỏ cơ chế quản lý tập trung quan liêu bao cấp tồn tại ở Việt Nam trong nhiều năm. Đây cũng là những đòi hỏi và đã giúp Đảng Cộng sản Việt Nam hoạch định đường lối, chính sách cho thời kỳ đổi mới.

Cuối tháng 5 năm 1987, trên trang nhất báo Nhân dân xuất hiện một bút danh mới N.V.L với mục Nói và Làm. Ông viết một loạt bài "Những việc phải làm ngay", ký tên NVL.[9] Từ năm 1986 đến 1991 trong nhiệm kỳ làm Tổng Bí thư, Nguyễn Văn Linh đã góp phần có ý nghĩa quyết định làm xoay chuyển tình thế, mở đường cho sự nghiệp đổi mới tiến lên. Nhằm khắc phục những bất cập, lạc hậu của cơ chế tập trung quan liêu, bao cấp của Việt Nam, ông đã đưa ra những ý tưởng mới, quan niệm mới, cách làm mới. Ông đã xóa bỏ cái mà người miền Nam gọi là Ngăn sông cấm chợ làm triệt tiêu hoàn toàn quyền lực và sự lộng hành của một vài thương nhân nhà nước hoặc mậu dịch quốc doanh biến chất lúc bấy giờ. Kiên quyết làm gương về chống tác phong quan liêu, xa dân, từ bỏ những đặc quyền đặc lợi, ông đã bỏ chế độ lãnh đạo cấp cao đi máy bay chuyên cơ trong nước, đi công tác bằng xe Lada không có máy điều hoà (tiêu chuẩn dùng cho cấp Thứ trưởng); vào Nam ra Bắc đi máy bay chung với mọi người; cắt giảm chế độ bảo vệ an ninh,...[10][11]